golang colly
大象笔记 > 标签 > golang colly
golang colly 爬取网站所有页面的标题
2020-05-30 · 阅读 8399 · 字数 492
由于接手了一个年久失修的网站，其网页的标题，keyword，description 异常混乱，很多页面的标题都是相同的，或者非常长，填充了大量冗余的关键词。 网站的板块，独立页非常多，完全靠检查代码，或者检查页面，很难找全所有有问题的页面。 为了快速找出有问题的页面，我决定用 golang colly 写个爬虫，自动检测全站的标题等 SEO 设置。 hello world, colly 以豆瓣网站为例： package main import ( "fmt" "github.com/gocolly/colly" "github.com/ ...
所有分类
| 生活 | 跑步 清单 足球 鲁班 探索 孤独的美食家 驾驶 电视剧 收纳 奶爸 健康 game 电影 周末 joke |
|---|---|
| Geek | 健身 Laravel Git Vim MySQL Linux UI Windows SVN 纪录片 管理 Shell 游记 工具 手机 BackboneJS 自建博客 Mac DNS Tornado CDN Django Python AngularJS 理财 前端 Nginx 爬虫 Redis Javascript Browser 浏览器 推广 OAuth CSS PHP Social Networks 安全 运维 创业 杂记 VueJS Android Image IDE Java ReactJS 数据分析 SQLite RESTful 读书笔记 家电 ecshop Vagrant wordpress docker SEO GTD magento mongodb nodejs weex 冷知识 ruby iOS 微信小程序 AI CMS 快应用 backpack 广告联盟 OA 短信 UWP Win CSharp Tampermonkey graphviz 钉钉 WPS 数据字典 微信公众号 Fuchsia Adobe XD SQL Server thinkphp 代码规范 商业模式 Flutter 头痛的问题 serverless 视频制作 国际化 golang 服务器 Kotlin 网站建设 5G 笔记本 图片 spark spring 物联网 InfluxDB 图像识别 postgre rust |
| 成长的烦恼 | 闲言碎语 待产 不睡觉 写作 程序员 孙心然语录 原则 大鸿语录 |
| 地球 | 植物 时间 中文 赚钱 国家地理 烟台 一生伏首拜阳明 emoji 弟子规 英文 国际贸易 |
山东，烟台